#!/bin/bash
#=================================================
# 全站镜像抓取脚本  (wget --mirror)
# 用法:  ./mirror.sh  "https://wiki.joysfintech.com/page/display?document_id=123"
#=================================================

#下面这个命令如果其中有命令执行失败，后面的命令就不会执行，wget命令返回不等于0就会导致后面的命令不执行
#set -euo pipefail

#–––––––––––––––––––––––––––––––––––––––––––––––––
# 0. 参数检查
#–––––––––––––––––––––––––––––––––––––––––––––––––
if [[ $# -lt 1 ]]; then
    echo "Usage: $0  <target_url>"
    exit 1
fi
TARGET_URL="https://wiki.joysfintech.com/page/display?document_id=$1"

#–––––––––––––––––––––––––––––––––––––––––––––––––
# 1. 可配置变量
#–––––––––––––––––––––––––––––––––––––––––––––––––
SAVE_DIR="/Users/fanzhenfeng/mirror_dir"                 # 本地保存目录
WAIT_SEC="0.5"                        # 基础等待时间
USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36'

#–––––––––––––––––––––––––––––––––––––––––––––––––
# 2. 执行镜像
#–––––––––––––––––––––––––––––––––––––––––––––––––
log="wget_mirror.log"
exec >> "$log" 2>&1
wget \
    --mirror                         \
    --convert-links                  \
    --page-requisites                \
    --no-parent                      \
    \
    --wait="$WAIT_SEC"               \
    --random-wait                    \
    \
    -e robots=off                    \
    -U "$USER_AGENT"                 \
    \
    -P "$SAVE_DIR"                   \
    "$TARGET_URL"
echo "获取 wget命令执行结果 $?"
echo ""
echo "${TARGET_URL} [OK] 镜像已保存到 $(realpath "$SAVE_DIR")"
source_file_name="/Users/fanzhenfeng/mirror_dir/wiki.joysfintech.com/page/display?document_id=$1"
suffix=".html"
taget_file_name=${source_file_name}${suffix}
mv  ${source_file_name} ${taget_file_name}
echo "====文件名修改完成=======${source_file_name}====${taget_file_name}============================================================================================="
echo ""



